Multivariate Distribution(다변량 분포)

혹은 여러 변수가 포함된 데이터. 단일 관측치에 대해 두 개 이상의 변수를 동시에 측정한 데이터를 의미한다. 보통 하나의 instance가 $d$ 차원의 vector로 표현된다.

Expectation

\mathbb{E}[X]=\sum\limits_\vec{x}\vec{x}P(\vec{x})=\begin{bmatrix} \sum_\vec{x}x_1P(\vec{x}) \\ \vdots \\ \sum_\vec{x}x_dP(\vec{x}) \end{bmatrix}=\begin{bmatrix} \sum_{x_1}x_1P(x_1) \\ \vdots \\ \sum_{x_d}x_{d}P(x_d) \end{bmatrix}= \begin{bmatrix} \mu_{1} \\ \vdots \\ \mu_{d} \end{bmatrix}=\vec{\mu}

:평균을 계산할 때, $x_{1}$ 와 관련한 항만 상관이 있으므로 $x$ 는 $x_{1}$ 로 치환한다.

sample(train Data $D$ )에 대해서는, $m$ 으로 표기한다.

\mathbb{CV}[X]\equiv\mathbb{E}[(X-\vec{\mu})(X-\vec{\mu})^\top]=\sum\limits_\vec{x}\begin{bmatrix} &\vdots \\ \cdots & (x_i-\mu_{i})(x_{j}- \mu_{j)}& \cdots \\ & \vdots \end{bmatrix}P(\vec{x})=\begin{bmatrix} \sigma_{11}&\cdots \sigma_{1d} \\ \vdots & \ddots & \vdots \\ \sigma_{d1} & \cdots & \sigma_{dd} \end{bmatrix}\equiv\mathbf{\Sigma}

이 때의 Covariance Matrix는, Symmetric-Positive-definite하게 정의되므로, Eigen decomposition이 항상 가능하고, $Σ = Σ^{⊤}$ 이 성립한다.

Σ = E [X X^{⊤}] - μ μ^{⊤}

sample(train Data $D$ )에 대해서는, $S$ 으로 표기한다.
$S = \frac{1}{N} t \sum x^{t} (x^{t})^{⊤} - m m^{⊤}$ 와 같이 계산된다.

CR [X] \equiv \dots ⋮ \frac{σ _{i} j}{σ _{i} σ _{j}} ⋮ \dots = ρ_{11} ⋮ ρ_{d 1} \dots ⋱ \dots ρ_{1 d} ⋮ ρ_{d} d \equiv R

이 때, corrleation matrix는

ρ_{11} ⋮ ρ_{d 1} \dots ⋱ \dots ρ_{1 d} ⋮ ρ_{dd} = σ_{11}^{- 1/2} 00 0 ⋱ 0 00 σ_{dd}^{- 1/2} σ_{11} ⋮ σ_{d 1} \dots ⋱ \dots σ_{1 d} ⋮ σ_{dd} σ_{11}^{- 1/2} 00 0 ⋱ 0 00 σ_{dd}^{- 1/2}

: 즉, $R = S^{- \frac{1}{2}} Σ S^{- \frac{1}{2}}$ 로 표현된다